[Talend]tS3Connectionの詳細設定を調べてみた

はじめに

こんにちは。DI部の大高です。

今回はTalendのコンポーネント「tS3Connection」の詳細設定を調べてみました。なお接続にはアクセスキー、シークレットキーを利用した基本的な接続を行っております。詳細についてはこちらの記事をご参照ください。

[Talend]tS3Connectionを利用してS3へ基本的な接続をする ｜ DevelopersIO

前提条件

Talendのバージョンは「Talend Open Studio for Big Data」の「Version 7.1.1」で検証しています。

tS3Connectionについて

「tS3Connection」を利用すると「tS3XXXXX」というS3用の各コンポーネントにおけるコネクションを共通設定することができます。

「tS3Connection」コンポーネントのTalend Helpページはこちらです。

tS3Connection

では、具体的に以下で解説していきます。

ジョブの説明

「tS3Connection」でコネクションを張るだけのシンプルなジョブになります。

「tS3Connection」コンポーネントの設定

「tS3Connection」コンポーネントでは、以下のように接続設定をしました。なお、今回は「基本設定」については説明を省略します。

カスタムリージョンエンドポイントの設定

エンドポイントを明示的に指定した場合に利用します。今回は以下を参考にデュアルスタックのエンドポイントs3.dualstack.ap-northeast-1.amazonaws.comを指定してみました。

Amazon Simple Storage Service (Amazon S3) ｜ AWS のリージョンとエンドポイント

クライアント設定

この設定により、細かいクライアントパラメーターを設定することができます。今回は「接続タイムアウト」を設定しましたが、その他の設定として以下を設定することができます。

S3アクセスを確認

このオプションを有効にすると、コネクション作成と同時に実際にS3にアクセスできるかを確認できます。（接続できなかった場合にはエラーが発生します）

加速モードを有効化

これは「Amazon S3 Transfer Acceleration」の利用についてのオプションです。

有効にするとJavaのコード上では以下のコードが追加され、withAccelerateModeEnabledが有効となります。

.withAccelerateModeEnabled(true)

tStatCatcher統計情報

「tStatCatcher」コンポーネントで統計情報を取得したい場合に有効にします。

実行結果

設定は以上です。実際にこのジョブを実行すると以下のように出力され、正常に処理が完了していることからS3への接続が成功していることが確認できます。

[statistics] connecting to socket on port 3362
[statistics] connected
[statistics] disconnected

まとめ

以上、tS3Connectionの詳細設定についてでした。

どなたかのお役に立てば幸いです。それでは！